Né James Moore à Lobdell en Louisiane, aîné d'une famille qui a perdu ses parents, il travaille comme docker et ouvrier du bâtiment à la fin des années 30 et au début des années 40.

Il est l'un des représentants du blues rural d' après-guerre Il débute dans des bars de Baton Rouge sous le nom de Harmonica Slim. Il accompagne Lightnin' Slim, son beau-frère, avant de débuter sa propre carrière en 1957. Nommé Slim Harpo par le producteur Jay Miller, il est influencé par Jimmy Reed . Son style combine une voix traînante avec les passages incisifs d'harmonica. Il joue souvent de l'harmonica chromatique.